بردبارى و گذشت آن بزرگ،بى‏مانند و سرمشق ديگران بود.
لقب‏«كاظم‏»به دنباله ‏ى نام آن گرامى،حاكى از همين خصلت وى و نشانه‏ ى شهرت ايشان به كظم غيظ و گذشت و بردبارى اوست.در روزگارى كه عباسيان،در سراسر بلاد اسلامى خفقان ايجاد كرده بودند و اموال مردم را به عنوان بيت المال مى‏گرفتند و صرف عيش و نوش مى‏كردند و بر اثر حيف و ميل آنان،فقر عمومى بيداد مى‏ كرد،مردم اغلب بى‏فرهنگ و فقير بودند و تبليغات ضد علوى عباسيان نيز، اذهان ساده لوحان را مى ‏آلود،گه گاه،برخى از سر نادانى،بر امام بر مى‏ آشفتند،اما آن بزرگوار، با اخلاق عالى خويش،بر آشفته ‏ها را تسكين مى‏داد و با ادب و متانت‏ خويش،آنها را تاديب مى‏كرد.
مردى از اولاد خليفه ‏ى دوم در مدينه مى‏زيست كه امام را آزار مى‏داد و گاهى كه امام را مى‏ديد با دشنام،توهين مى‏كرد.برخى از ياران امام،پيشنهاد مى‏كردند كه او را از ميان بردارند:امام شديدا ايشان را از اينكار باز مى‏داشت.
يكروز امام جاى او را كه در مزرعه‏ اى بيرون مدينه بود،پرسيدند.
چارپايى سوار شدند و بدانجا رفتند و او را در مزرعه يافتند و همچنان سواره وارد مزرعه شدند.او فرياد زد كه زراعت مرا پايمال نكن!حضرت اعتنايى به گفته‏ى او نكردند و همچنان سواره نزد او رفتند و چون كنار او رسيدند،از چارپا پياده شدند و با گشاده رويى و بزرگوارى از او پرسيدند:
چقدر براى اين مزرعه خرج كرده ‏اى؟
گفت:صد دينار
فرمود:چقدر اميد سود دارى؟
گفت:غيب نمى‏دانم.
فرمود:گفتم چقدر اميدوار هستى؟
گفت:اميد دويست دينار سود دارم.
حضرت سيصد دينار به او مرحمت فرمودند و فرمودند زراعت هم از آن خودت،خدا به تو آنچه به آن اميد دارى خواهد رسانيد.آن شخص برخاست و سر آن گرامى را بوسيد و از او خواست كه از گناهان و جسارت‏ هاى وى در گذرد.امام تبسمى فرمودند و باز گشتند...
روز بعد،آن مرد در مسجد نشسته بود كه امام (ع) وارد شدند.
آنمرد تا نگاهش به امام افتاد گفت:
الله اعلم حيث ‏يجعل رسالته
خدا بهتر مى‏داند كه رسالت ‏خويش را به چه كسانى بدهد. (كنايه از آنكه امام موسى بن جعفر به راستى شايستگى امامت دارند)
دوستانش با شگفتى پرسيدند،داستان چيست،قبلا از او بد مى‏گفتى؟
او دو باره امام را دعا كرد و دوستانش با او به ستيزه برخاستند...
امام با يارانى از خود كه قصد قتل او را داشتند فرمود:كدام بهتر است،نيت‏ شما يا اينكه من با رفتار خويش او را به راه آوردم؟